百度公开课实录：巡检也可智能化操作？揭秘无人机自助巡检背后的奥秘

点击左上方蓝字关注我们

今年4月，国家发改委首次明确新型基础设施的范围，其中作为引领科技革命重要驱动力的人工智能，成为新基建的一大主要领域，成为大家关注的焦点。9月29日上午9点，AIIA2020人工智能开发者大会百度公开课于北京首钢园成功举办。此次公开课中，来自各行业的学员们分享了飞桨在工业实践中的经验。其中，北京御航智能科技有限公司的项目部经理高松鹤发表了关于《基于边缘计算无人机智能巡检》的演讲。

（图示：北京御航智能科技有限公司项目部经理高松鹤发表演讲）

以下为演讲实录：

大家上午好，我是来自北京御航智能的高松鹤，接下来跟大家分享基于边缘计算无人机智能巡检的方案。我将从对巡检业务场景的理解、相应的解决方案及项目总结三个方面进行介绍。

巡检业务场景介绍

众所周知，各行业都有巡检的需求，尤其在一些基础设施或能源行业，巡检可以说是生产和运维中的重要环节。

在能源行业，巡检主要包括电力设施巡检、石油管线巡检和风机巡检。

• 电力设施巡检主要针对线路运行环境的通道巡检和输电杆塔进行精细化巡检；
• 石油管线巡检针对的是管线周边是否出现施工和大型机械影响线路安全的场景；
• 风机巡检则是对常年工作状态下，由于风力影响导致风机叶片出现脱落或者裂纹等问题影响风机正常运行的检测。

在交通行业，巡检主要包括公路巡检、河道巡检、铁路巡检和基础设施巡检。

• 公路巡检是对路面上出现一些裂纹、破损或者边坡滑坡的检测；

• 河道巡检是对河面上的水生植被影响河道水质的检测以及运河上违规船只的检测；

• 铁路巡检是对铁路路况或者是否有异物入侵进行的检测；

• 基础设施的巡检是对电信行业里信号塔的正常运行的检测。

（图示：巡检场景）

在电力巡检中，可以总结为三个时期：人工巡检、无人机巡检和未来无人机的自助巡检。

• 人工巡检需要人爬到铁塔上面进行检测；
• 无人机巡检通过无人机进行全方位拍照检测；
• 未来无人机的自主巡检是远程控制无人机进行全面检测，人不需要到现场。

从效率上来说，由无人机代替人工巡检，效率可提升5~6倍。人工巡检一天只能巡检6~7级塔，而无人机每天可以巡检30~50级塔。目前就电力行业而言，据不完全统计，全国范围内大约有80~100万巡检是由无人机完成的。针对无人机自动巡检的方案，则是通过预先建立的三维点位进行航线规划，再按照既定航线实现自主飞行。

（图示：巡检发展）

无人机在巡检过程中需要三个环节：现场飞行、数据处理和信息反馈。

• 现场飞行要到现场把照片拍出来，需要飞手培训耗时长。此外，无人机还会受环境因素影响，导致现场操作不便捷；

• 在数据处理方面，由于大批无人机投入到实际生产中，海量数据和一些需要专业判断的内容比较多，对一线运维人员来说工作量是比较庞大的。每天都会有大量数据进来，都需要专业人员查看图片是否有缺陷。

• 信息反馈在整个过程中没有形成整体的数据闭环，会造成信息的不连续或者反馈不及时，从发现问题到解决问题的路径比较曲折。

针对巡检难题的解决

为解决这些难题，我们公司提出了从“智能控制端、边缘计算端、AI云平台和移动端应用”一整套解决方案。

• 智能控制端主要涉及智能控制无人机进行自主飞行和对于飞行过程中的实时目标识别；

• 边缘计算端针对电力干塔的可视化设备，实时通过视频模式检测运行环境中是否出现类似于大型施工机械或者是异物入侵等；

• AI云平台主要针对复杂的图像进行缺陷识别以及生成缺陷报告或者进行大数据处理；

• 移动应用端主要是把缺陷推送到APP上面，运维人员可以拿着APP去现场进行确认，并进行结果反馈。

（图示：智能巡检解决方案）

杆塔精细化巡检是由非常多部件组成的，从简单到复杂都会覆盖。由于现场环境以及受限于无人机与杆塔质检安全运行距离，会导致拍照过程中出现图像过曝、欠曝、遮挡还有模糊，会造成后面缺陷识别的时候，每张图片缺陷识别的时候达不到AI识别的条件。

因此我们提出了无人机自主飞行方案。首先为无人机设定任务，在无人机飞到杆塔特定拍照点时，进行多目标检测后，控制云台进行变焦和对焦的操作，每一个拍照点拍完之后无人机就完成了运行工作，后面进行缺陷的识别。

总的来说，在无人机自主飞行过程中主要涉及三个硬件和两项技术。硬件包括无人机、变焦相机、边缘计算模块；技术主要是基于自主飞行和实时识别算法。通过三种硬件和两项技术的结合，实现我们对无人机的自主飞行、变焦拍照以及部件实时识别的目的。边缘计算模块搭载飞行控制、相机控制、识别算法，无人机和云台之间会用边缘计算模块进行控制。

（图示：智能巡检关键技术）

目前自主飞行还是基于航线规划模式开展，需要先建立一个场景三维点云的建设，点云基础上规划一个航线，无人机再按照这个航线进行飞行。在三维点云建设过程中，发现相似的杆塔会出现很多，我们只对其中一个进行点云建设，后面用算法来推导。航线规划主要实现了让无人机自动飞行到指定位置，减少人工干预。需要先让无人机飞到这个点进行拍照，再通过一个接口开发控制无人机姿态和云台姿态进行调整。

（图示：自主巡检装备）

算法方面采用飞桨目标检测模型PP-YOLO，在实际应用中，具有相对平衡质量和效率的目标检测算法。在对比中我们还发现，相对传统算法，PP-YOLO在速度和精度上都有了很大提升。

在整个项目过程中，我们主要基于百度飞桨的系列化产品开展。首先飞桨是国产化的平台，目标检测、模型部署及模型压缩等操作也十分连贯，我们主要使用飞桨的PaddleDetection、PaddleSlim和Paddle Lite。使用PaddleDetection进行训练时，利用全局的配置文件或者依照代码实现模型训练，可以提升效率。在开发过程中接触比较多的是模型算法，当场景的调整固化之后，对操作者的要求就可以降低了。操作者只要修改一些配置文件、迭代次数便可以实现模型训练。通过Paddle Lite把模型快速部署到边缘计算模块上去，让开发人员不再需要过多关注硬件。

在相机的工作过程中，我们发现变焦对于缺陷识别非常有帮助，在静态图中模拟一个相机变焦效果，发现随着镜头不断拉近，缺陷识别可以从50%提升到90%。变焦让目标更清晰，从数据源头促进识别精度。

项目内容总结

首先来说边缘计算的无人机智能巡检避免了逐塔采集，可以提高效率。操作过程需要先规划航线，再由边缘计算模块实时控制无人机姿态和角度或者变焦来实现采集，最后通过数据闭环的过程实现一线工作规范化操作。

在基于视频模式探索过程中，我们发现视频变焦对于缺陷识别来说，检测缺陷的准确率更高。因此我们可以将缺陷检测前移，利用视频模式和变焦方式提升缺陷检测精度。

这个方案推广适用于全网机巡，在变电、配电、安监、基建都会涉及。应用中首先是国产化应用，包括芯片国产化和人工智能平台的国产化，然后是结合5G数据传输，在真正意义上实现巡检机器无人驾驶，类似于百度Apollo汽车一样，可以自己去飞航线，进行飞行缺陷检测等等。

以上就是我整个演讲内容，谢谢大家。

课程回放链接：

https://aistudio.baidu.com/aistudio/education/group/info/1561

如在使用过程中有问题，可加入飞桨官方QQ群进行交流：1108045677。

如果您想详细了解更多飞桨的相关内容，请参阅以下文档。

·飞桨官网地址·

https://www.paddlepaddle.org.cn/

·飞桨开源框架项目地址·

GitHub: 

https://github.com/PaddlePaddle/Paddle 

Gitee: 

https://gitee.com/paddlepaddle/Paddle

扫描二维码 ｜ 关注我们微信号 : PaddleOpenSource

点击下方“阅读原文”，进入AI快车道全国巡回报名页面

↓↓↓